LSTM(Long Short Term Memory)

기존의 RNN에서, 장기 기억(Cell State)와 단기 기억(Hidden State)를 별도로 둠으로써, 중요하게 기억해야 할 정보와 그렇지 않은 정보를 구분해 Gradient Vanishing 문제와 short-term memory 문제를 다소 줄인 방식.

Structure

variable

Cell State( $C_{t}$ ): $t$ 시간까지 기억하고 있는 장기 기억 메모리
Hidden state( $h_{t}$ ): $t$ 시간에서의 모델 출력 값
Input( $X_{t}$ ): $t$ 시간에서의 입력 값

Gates

입력과 이전 기억에 대한 weights를 조절해가면서, Cell State와 Hidden State를 적절히 조합해 이전의 정보를 계속해서 유지시킨다.

Forget Gate

C_{t - 1}

을 얼마나 반영할 지. 0에 가깝다면 거의 반영하지 않고, 1에 가깝다면 최대한 반영하는 것.

f_{t} = σ (x_{t} U^{f} + h_{t - 1} W^{f})

$U^{f}$ , $W^{f}$ : 현재 시점에 학습된 가중치.
MLP를 거쳐서 *Activation Function을 거치게 된다.

Input Gate

새로운 데이터를 얼마나 반영할지. 0에 가깝다면 새로운 거의 반영하지 않고, 1에 가깝다면 최대한 반영.

i_{t} = σ (x_{t} U^{i} + h_{t - 1} W^{i})

Cell State update

장기 기억과 새로운 데이터를 조합.

C_{t} = f_{t} \times C_{t - 1} + i_{t} \times \tilde{C_{t}}

$\tilde{C_{t}} = tanh (x_{t} U^{g} + h_{t - 1} W^{g})$ : temporal Cell state.

output Gate

output, 즉 time

t

에 대해 만들어지는 prediction.

O_{t} = σ (x_{t} U^{o} + h_{t - 1} W^{o})

Hidden State update

t에서의 output 값이자, hidden state. 중요할수록 1에 가깝게, 중요하지 않을수록 0에 가깝게.

h_{t} = O_{t} \times tanh (C_{t})

전반적인 정보들을 전부 계산하여 다음 Hidden State로 넘긴다.